1. Описание проекта. План работы.¶
Для золотодобывающего горно-обогатительного комбината (ГОК) требуется улучшить производственный процесс, чтобы снизить издержки. Построим модель машинного обучения, которая поможет оптимизировать процесс обогащения золота в золотосодержацих рудах.
Нам предоставлены данные с параметрами добычи руды и многоступенчатой очистки золота.
Шаги для выполнения проекта:
- Подготовить данные.
- Провести исследовательский анализ данных.
- Построить и обучить модель.
1.1. Схема технологического процесса.¶
Когда добытая руда проходит первичную обработку, получается дроблёная смесь. Её отправляют на флотацию (обогащение) и двухэтапную очистку. Опишем каждую стадию:
1.Флотация.
Во флотационную установку подаётся смесь золотосодержащей руды. После обогащения получается черновой концентрат и «отвальные хвосты», то есть остатки продукта с низкой концентрацией ценных металлов. На стабильность этого процесса влияет непостоянное и неоптимальное физико-химическое состояние флотационной пульпы (смеси твёрдых частиц и жидкости).
2.Очистка.
Черновой концентрат проходит две очистки. На выходе получается финальный концентрат и новые отвальные хвосты.
1.2 Обозначения, применяемые в техпроцессе.¶
- Rougher feed — исходное сырье
- Rougher additions (или reagent additions) — флотационные реагенты: Xanthate, Sulphate, Depressant
- Xanthate **— ксантогенат (промотер, или активатор флотации);
- Sulphate — сульфат (на данном производстве сульфид натрия);
- Depressant — депрессант (силикат натрия).
- Rougher process (англ. «грубый процесс») — флотация
- Rougher tails — отвальные хвосты
- Float banks — флотационная установка
- Cleaner process — очистка
- Rougher Au — черновой концентрат золота
- Final Au — финальный концентрат золота
Параметры этапов:
- air amount — объём воздуха
- fluid levels — уровень жидкости
- feed size — размер гранул сырья
- feed rate — скорость подачи
1.3. Вводная информация.¶
Данные геологоразведки трёх регионов находятся в файлах:
- gold_recovery_train_new.csv
- gold_recovery_test_new.csv
- gold_recovery_full_new.csv
Данные индексируются датой и временем получения информации (признак date). Соседние по времени параметры часто похожи.
Некоторые параметры недоступны, потому что замеряются и/или рассчитываются значительно позже. Из-за этого в тестовой выборке отсутствуют некоторые признаки, которые могут быть в обучающей. Также в тестовом наборе нет целевых признаков.
Исходный датасет содержит обучающую и тестовую выборки со всеми признаками.
В нашем распоряжении сырые данные: их просто выгрузили из хранилища. Прежде чем приступить к построению модели, проверьте по нашей инструкции их на корректность.
1.4. Цель проекта.¶
Подготовить прототип модели машинного обучения для компании «Цифра».
Модель должна предсказать коэффициент восстановления золота из золотосодержащей руды и поможет оптимизировать производство, чтобы не запускать предприятие с убыточными характеристиками.
Для прогноза коэффициента нужно найти долю золота в концентратах и хвостах. Причём важен не только финальный продукт, но и черновой концентрат.
1.5. Задачи проекта.¶
1.Подготовить данные:
1.1. Открыть файлы:
- gold_recovery_train_new.csv,
- gold_recovery_test_new.csv,
- gold_recovery_full_new.csv.
и изучить их.
1.2. Проверить, что эффективность обогащения рассчитана правильно. Вычислить её на обучающей выборке для признака rougher.output.recovery. Найти MAE между нашими расчётами и значением признака. Описать выводы.
Смоделировать процесс восстановления золота из золотосодержащей руды. Эффективность обогащения рассчитывается по формуле:
где:
- C — доля золота в концентрате после флотации/очистки ('Сoncentrate');
- F — доля золота в сырье/концентрате до флотации/очистки ('Float');
- T — доля золота в отвальных хвостах после флотации/очистки ('Tail').
1.3. Проанализировать признаки, недоступные в тестовой выборке. Что это за параметры? К какому типу относятся?
1.4. Провести предобработку данных.
2. Проанализировать данные:
2.1. Посмотреть, как меняется концентрация металлов (Au, Ag, Pb) на различных этапах очистки. Описать выводы.
2.2. Сравнить распределения размеров гранул сырья на обучающей и тестовой выборках. Если распределения сильно отличаются друг от друга, оценка модели будет неправильной.
2.3. Исследовать суммарную концентрацию всех веществ на разных стадиях: в сырье, в черновом и финальном концентратах.
3. Построить модель:
3.1. Написать функцию для вычисления итоговой sMAPE.
3.2. Обучить разные модели и оценить их качество кросс-валидацией. Выбрать лучшую модель и проверить её на тестовой выборке. Описать выводы.
1.6. Наименование признаков.¶
Наименование признаков должно быть такое:
[этап].[тип_параметра].[название_параметра] Пример: rougher.input.feed_ag Возможные значения для блока [этап]:
- rougher — флотация
- primary_cleaner — первичная очистка
- secondary_cleaner — вторичная очистка
- final — финальные характеристики
Возможные значения для блока [тип_параметра]:
- input — параметры сырья
- output — параметры продукта
- state — параметры, характеризующие текущее состояние этапа
- calculation — расчётные характеристики
Целевой признак:
- final.calculation.concentrate_au — итоговые рассчитанные содержания золота в концентрате.
1.7. Проверяемые гипотезы.¶
Нужно спрогнозировать сразу две величины:
Эффективность обогащения чернового концентрата rougher.output.recovery.
Эффективность обогащения финального концентрата final.output.recovery.
Итоговая метрика складывается из двух величин:
1.8. Метрика качества.¶
Для решения задачи введём новую метрику качества — sMAPE (англ. Symmetric Mean Absolute Percentage Error, «симметричное среднее абсолютное процентное отклонение»).
Она похожа на MAE, но выражается не в абсолютных величинах, а в относительных. Почему симметричная? Она одинаково учитывает масштаб и целевого признака, и предсказания.
Метрика sMAPE вычисляется так:
